De eerste vermelding van het kasteel dateert van 1128 en kadert in de strijd om de opvolging van de vermoorde graaf Karel de Goede. Deze strijd speelt zich aftussen Willem Clito van Normandië en Diederik van den Elzas. Omdat de kasteelschout van het kasteel van Oostkamp een aanhanger is van Diederik, wordt het kasteel door graaf Willem Clito belegerd. Het bleef gelukkig van groot onheil bespaard.
Later kwam het kasteel in handen van Jan Wittoen, ridder en heer van Oostkamp. Deze verkocht het goed in 1454 aan Lodewijk van Brugge, heer van Gruuthuse, raadgever en diplomaat van de hertogen van Bourgondië. Naar hem is dit kasteeldomein genoemd hoewel het voor het grootste deel van zijn geschiedenis eigendom geweest is, en nog altijd is, van de familie d’Ursel. Het was in deze periode dat Edward IV, koning van Engeland, het kasteel bezocht.
Begin 17de eeuw komt het in handen van de familie d'Ursel. In 1888 laat Charles d’Ursel, gouverneur van West-Vlaanderen, de oude kasteelgebouwen afbreken en een nieuw kasteel bouwen in Vlaamse renaissancestijl naar een ontwerp van provinciaal architect René Buyck, die ook de plannen van het Oostkampse gemeentehuis tekende. Het park werd heraangelegd door de Franse tuinarchitect Henri Duchêne.
In 1981 teisterde een felle brand het kasteel, waarbij een jonge brandweerman het leven liet. Het dak en de bovenste verdieping werden in de brand totaal vernietigd waardoor het kasteel Gruuthuse nu een plat dak heeft.